Recent works have impressively demonstrated that there exists a subnetwork in randomly initialized convolutional neural networks (CNNs) that can match the performance of the fully trained dense networks at initialization, without any optimization of the weights of the network (i.e., untrained networks). However, the presence of such untrained subnetworks in graph neural networks (GNNs) still remains mysterious. In this paper we carry out the first-of-its-kind exploration of discovering matching untrained GNNs. With sparsity as the core tool, we can find \textit{untrained sparse subnetworks} at the initialization, that can match the performance of \textit{fully trained dense} GNNs. Besides this already encouraging finding of comparable performance, we show that the found untrained subnetworks can substantially mitigate the GNN over-smoothing problem, hence becoming a powerful tool to enable deeper GNNs without bells and whistles. We also observe that such sparse untrained subnetworks have appealing performance in out-of-distribution detection and robustness of input perturbations. We evaluate our method across widely-used GNN architectures on various popular datasets including the Open Graph Benchmark (OGB).

Knowledge graph embedding (KGE) is a increasingly popular technique that aims to represent entities and relations of knowledge graphs into low-dimensional semantic spaces for a wide spectrum of applications such as link prediction, knowledge reasoning and knowledge completion. In this paper, we provide a systematic review of existing KGE techniques based on representation spaces. Particularly, we build a fine-grained classification to categorise the models based on three mathematical perspectives of the representation spaces: (1) Algebraic perspective, (2) Geometric perspective, and (3) Analytical perspective. We introduce the rigorous definitions of fundamental mathematical spaces before diving into KGE models and their mathematical properties. We further discuss different KGE methods over the three categories, as well as summarise how spatial advantages work over different embedding needs. By collating the experimental results from downstream tasks, we also explore the advantages of mathematical space in different scenarios and the reasons behind them. We further state some promising research directions from a representation space perspective, with which we hope to inspire researchers to design their KGE models as well as their related applications with more consideration of their mathematical space properties.

彩票（LTS）能够发现准确而稀疏的子网，可以隔离训练以匹配密集网络的性能。合奏并行，是机器学习中最古老的预期技巧之一，可以通过结合多个独立模型的输出来提高性能。但是，在LTS背景下，合奏的好处将被稀释，因为合奏并没有直接导致更稀疏的子网，而是利用其预测来做出更好的决定。在这项工作中，我们首先观察到，直接平均相邻学习的子网的权重显着提高了LT的性能。在这一观察结果的鼓励下，我们进一步提出了另一种方法，通过简单的插值策略通过迭代幅度修剪来识别的子网执行“合奏”。我们称我们的方法彩票池。与幼稚的合奏相比，每一个子网都不会带来性能，彩票池比原始LTS产生的稀疏子网稀疏得多，而无需任何额外的培训或推理成本。在CIFAR-10/100和Imagenet上的各种现代体系结构中，我们表明我们的方法在分布和分发场景方面都取得了显着的性能。令人印象深刻的是，用VGG-16和RESNET-18进行评估，生产的子网稀疏的子网在CIFAR-100上优于原始LTS，在CIFAR-100-C上高达1.88％，而CIFAR-100-C则高于2.36％。最终的致密网络超过了CIFAR-100的预训练密集模型，在CIFAR-100-C上超过2.22％。

文本对象的重新识别（REID）旨在通过文本描述搜索感兴趣的身份的行人图像。由于丰富的模式内变化和明显的模式间差异，这是具有挑战性的。现有作品通常忽略两种方式之间的特征粒度差异，即，视觉特征通常是细粒度的，而文本特征则粗糙，这主要负责大型模式间间隙。在本文中，我们提出了一个基于变形金刚的端到端框架，以学习两种模式的粒度统一表示，称为LGUR。 LGUR框架包含两个模块：基于字典的粒度比对（DGA）模块和基于原型的粒度统一（PGU）模块。在DGA中，为了使两种模式的粒度对齐，我们引入了一个多模式共享词典（MSD）以重建视觉和文本特征。此外，DGA还具有两个重要因素，即跨模式指导和以前景为中心的重建，以促进MSD的优化。在PGU中，我们采用一组共享和可学习的原型作为查询，以提取粒度统一特征空间中这两种方式的多样化和语义对齐特征，从而进一步促进了REID的性能。综合实验表明，我们的LGUR在Cuhk-Pedes和ICFG-Pedes数据集上始终以大幅度的优势优于最先进的东西。代码将在https://github.com/zhiyinshao-h/lgur上发布。

文本逻辑推理，尤其是具有逻辑推理的问题答案（QA）任务，需要对特定逻辑结构的认识。段落级别的逻辑关系代表了命题单位之间的必要或矛盾（例如，结论性句子）。但是，由于当前的质量检查系统专注于基于实体的关系，因此无法探索此类结构。在这项工作中，我们提出了逻辑结构构成建模，以解决逻辑推理质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量质量请参见。网络执行两个过程：（1）利用在线话语连接以及通用逻辑理论的逻辑图构造，（2）通过图形网络学习产生结构性逻辑特征的逻辑表示。该管道应用于一般编码器，其基本功能与高级逻辑功能相结合，以进行答案预测。在三个文本逻辑推理数据集上进行的实验证明了dagns内置的逻辑结构的合理性以及学到的逻辑特征的有效性。此外，零射传输结果显示了特征的通用性，可看不见的逻辑文本。

尽管配备的远景和语言预处理（VLP）在过去两年中取得了显着的进展，但它遭受了重大缺点：VLP型号不断增加的尺寸限制了其部署到现实世界的搜索场景（高潜伏期是不可接受的）。为了减轻此问题，我们提出了一种新颖的插件动态对比度蒸馏（DCD）框架，以压缩ITR任务的大型VLP模型。从技术上讲，我们面临以下两个挑战：1）由于GPU内存有限，在处理交叉模式融合功能期间优化了太多的负样本，因此很难直接应用于跨模式任务，因此很难直接应用于跨模式任务。 。 2）从不同的硬样品中静态优化学生网络的效率效率低下，这些样本对蒸馏学习和学生网络优化具有不同的影响。我们试图从两点克服这些挑战。首先，为了实现多模式对比度学习并平衡培训成本和效果，我们建议使用教师网络估算学生的困难样本，使学生吸收了预培训的老师的强大知识，并掌握知识来自硬样品。其次，要从硬样品对学习动态，我们提出动态蒸馏以动态学习不同困难的样本，从更好地平衡知识和学生的自学能力的困难的角度。我们成功地将我们提出的DCD策略应用于两个最先进的视觉语言预处理模型，即vilt和仪表。关于MS-Coco和FlickR30K基准测试的广泛实验显示了我们DCD框架的有效性和效率。令人鼓舞的是，与现有的ITR型号相比，我们可以至少加快推断至少129美元的$ \ times $。

人类骨骼数据由于其背景鲁棒性和高效率而受到行动识别的越来越多。在基于骨架的动作识别中，图形卷积网络（GCN）已成为主流方法。本文分析了基于GCN的模型的基本因素 - 邻接矩阵。我们注意到，大多数基于GCN的方法基于人类天然骨架结构进行其邻接矩阵。根据我们以前的工作和分析，我们建议人类的自然骨骼结构邻接矩阵不适合基于骨架的动作识别。我们提出了一个新的邻接矩阵，该矩阵放弃了所有刚性邻居的连接，但使该模型可以适应地学习关节的关系。我们对两个基于骨架的动作识别数据集（NTURGBD60和FINEGYM）进行了验证模型进行广泛的实验和分析。全面的实验结果和分析表明，1）最广泛使用的人类天然骨骼结构邻接矩阵在基于骨架的动作识别中不适合； 2）所提出的邻接矩阵在模型性能，噪声稳健性和可传递性方面表现出色。

关于稀疏神经网络训练（稀疏训练）的最新研究表明，通过从头开始训练本质上稀疏的神经网络可以实现绩效和效率之间的令人信服的权衡。现有的稀疏训练方法通常努力在一次跑步中找到最佳的稀疏子网，而无需涉及任何昂贵的密集或预训练步骤。例如，作为最突出的方向之一，动态稀疏训练（DST）能够通过在训练过程中迭代发展稀疏拓扑来实现竞争性训练的竞争性能。在本文中，我们认为最好分配有限的资源来创建多个低损失的稀疏子网并将其超级置于更强的基因，而不是完全分配所有资源以找到单个子网络。为了实现这一目标，需要两个Desiderata：（1）在一个培训过程中有效生产许多低损失的子网，即所谓的廉价门票，仅限于用于密集培训的标准培训时间； （2）将这些廉价的门票有效地超级为一个更强的子网，而无需超越约束参数预算。为了证实我们的猜想，我们提出了一种新颖的稀疏训练方法，称为\ textbf {sup-tickets}，可以在单个稀疏到较小的训练过程中同时满足上述两个desiderata。在CIFAR-10/100和Imagenet上的各种现代体系结构中，我们表明，SUP-Tickets与现有的稀疏训练方法无缝集成，并显示出一致的性能提高。

红外小暗淡目标检测是红外搜索和跟踪系统中的关键技术之一。由于本地区域类似于红外小暗淡目标，因此在整个背景中传播，因此在大型依赖性中探讨了图像特征之间的交互信息来挖掘目标和背景之间的差异对于鲁棒检测至关重要。然而，基于深度学习的方法受卷积神经网络的局部的限制，这损害了捕获大范围依赖性的能力。另外，红外目标的小暗淡外观使检测模型非常可能错过检测。为此，我们提出了一种具有变压器的稳健和一般的红外小型目标检测方法。我们采用变压器的自我关注机制来学习更大范围内图像特征的交互信息。此外，我们设计了一个特征增强模块，以学习小型暗淡目标的辨别特征，以避免错过检测。之后，为了避免丢失目标信息，我们采用了与U-Net的跳过连接操作的解码器来包含更多的小暗淡目标信息。最后，我们通过分割头得到检测结果。两个公共数据集的广泛实验表明，在最先进的方法中提出了拟议方法的明显优势，并且所提出的方法具有更强的跨场泛化和抗噪声性能。

在广泛的实用应用中，需要进行远程感知的城市场景图像的语义细分，例如土地覆盖地图，城市变化检测，环境保护和经济评估。在深度学习技术的快速发展，卷积神经网络（CNN）的迅速发展。 ）多年来一直在语义细分中占主导地位。 CNN采用层次特征表示，证明了局部信息提取的强大功能。但是，卷积层的本地属性限制了网络捕获全局上下文。最近，作为计算机视觉领域的热门话题，Transformer在全球信息建模中展示了其巨大的潜力，从而增强了许多与视觉相关的任务，例如图像分类，对象检测，尤其是语义细分。在本文中，我们提出了一个基于变压器的解码器，并为实时城市场景细分构建了一个类似Unet的变压器（UneTformer）。为了有效的分割，不显示器将轻量级RESNET18选择作为编码器，并开发出有效的全球关注机制，以模拟解码器中的全局和局部信息。广泛的实验表明，我们的方法不仅运行速度更快，而且与最先进的轻量级模型相比，其准确性更高。具体而言，拟议的未显示器分别在无人机和洛夫加数据集上分别达到了67.8％和52.4％的MIOU，而在单个NVIDIA GTX 3090 GPU上输入了512x512输入的推理速度最多可以达到322.4 fps。在进一步的探索中，拟议的基于变压器的解码器与SWIN变压器编码器结合使用，还可以在Vaihingen数据集上实现最新的结果（91.3％F1和84.1％MIOU）。源代码将在https://github.com/wanglibo1995/geoseg上免费获得。